先观察后推理：解耦感知与推理的抗捷径多模态在线自蒸馏
🧭 解耦感知与推理防止文本捷径
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出 ViGOS，通过先视觉描述后推理并解耦感知与推理教师，防止多模态自蒸馏中基于文本的捷径，提升视觉 grounding。
📌 工作参考价值（4 点）
- 多模态模型训练防捷径：在电商商品理解任务中（如从图文预测属性），可借鉴先描述后推理的生成格式，并用纯图像教师监督描述部分，迫使模型依赖视觉而非文本偏差，提升跨模态对齐。
- 在线自蒸馏的应用：在推荐或多模态 agent 的循环训练里，可引入冻结副本提供稠密 token 级监督，替代稀疏奖励，以缓解学生模型生成与训练分布偏差。
- 错误恢复机制：对无效 rollout 使用参考教师恢复格式，可迁移到 agent 的自我校正或序列生成任务中，保证输出结构规整。
- 视觉推理任务增强：若业务涉及空间 grounding 或图文推理（如图片 QA、导航 agent），可将视觉描述前置，并结合专用感知教师，提升对图像的忠实度。
RGCD-Rep：推理引导的跨域表征学习，连接短视频与直播推荐
🧭 跨域推荐 · 多模态蒸馏 · 可迁移表征学习 ★ 深度解读
Kuaishou Technology, Beijing, China
首次将多模态大模型推理蒸馏到轻量模型，学习行为协同的跨域可迁移 item 表征，部署到快手直播推荐系统
📌 工作参考价值（4 点）
- 用行为对构造跨域蒸馏数据：从用户日志构建 (短视频, 直播) pair 并量化行为共现强度，作为监督信号。电商场景可直接套用，用 “点击-加购” 或 “浏览-转化” 行为对，将源域兴趣迁移到目标域。
- 大模型推理结果结构化：教师 MLLM 的输出不只是自由文本，而是分解为「垂直领域、关键主体、内容主题」三个维度的标签和匹配判断。在电商中，可将商品属性（品类、功能、场景）结构化，用于引导跨域匹配，避免噪声。
- Chorus Tokens + 可迁移/残差分离：用少量可学习 token（16个）聚合多模态信息，再用可学习 Query 向量拆出可迁移和残差部分。这种轻量设计适合离线生成 item embedding 并直接供检索使用，低延迟部署友好。
- 路由损失解决负迁移：对高可信 pair 鼓励用可迁移空间匹配，低可信 pair 用残差空间吸收噪声，缓解跨域不一致。在电商多域（如搜索、推荐、内容）统一表示时，可借鉴这种“软路由”机制，避免强行对齐带来的性能损失。